Con trưởng của Lưu Dụ là Nghĩa Phù làm Chinh lỗ tướng quân, lấy Khoái Ân làm Trung binh tham quân phò tá Nghĩa Phù. Khi Lưu Dụ cất quân đánh Hậu Tần, lưu ông ở lại làm thị vệ cho Nghĩa Phù, mệnh cho ông kết giao với các quan trong triều. Khoái Ân vô cùng khiêm tốn, nói chuyện với mọi người không nhắc quan vị, mà tự xưng là "kẻ hèn". Ông thường vỗ về sĩ tốt, lại rất có kỷ cương, bộ hạ đều xem ông như cha.

Sau đó Khoái Ân dời sang làm Tư nghị tham quân, chuyển sang chức Phụ quốc tướng quân, Hoài Lăng thái thú. Lưu Nghĩa Phù được làm Khai phủ, ông làm Tòng sự trung lang, rồi chuyển sang Tư mã cho anh ta; các chức tướng quân, thái thú vẫn như cũ.